Ông kết hôn với Frieda Knecht và có năm đứa con với Frieda gồm Bernhard Caesar (1930 – 2008), là một nhà vật lý học, kỹ sư. Klaus Martin (1932 – 1938), mất sớm vì bệnh bạch hầu cùng hai người khác chỉ sống được vài ngày.[5] Họ cũng có một con nuôi là Evelyn (1941 – 2011). Frieda mất năm 1958, sau đó Hans Albert tái hôn với Elizabeth Roboz (1904 – 1995).[cần dẫn nguồn]

Hans Albert thường xuyên cùng đồng nghiệp và gia đình du ngoạn vịnh San Francisco. Trong những chuyến đi như thế, ông chụp được hàng nghìn tấm ảnh. Ông rất yêu âm nhạc; thường chơi sáo và piano.[cần dẫn nguồn]